Conceptual knowledge is fundamental to human cognition and knowledge bases. However, existing knowledge probing works only focus on evaluating factual knowledge of pre-trained language models (PLMs) and ignore conceptual knowledge. Since conceptual knowledge often appears as implicit commonsense behind texts, designing probes for conceptual knowledge is hard. Inspired by knowledge representation schemata, we comprehensively evaluate conceptual knowledge of PLMs by designing three tasks to probe whether PLMs organize entities by conceptual similarities, learn conceptual properties, and conceptualize entities in contexts, respectively. For the tasks, we collect and annotate 24k data instances covering 393 concepts, which is COPEN, a COnceptual knowledge Probing bENchmark. Extensive experiments on different sizes and types of PLMs show that existing PLMs systematically lack conceptual knowledge and suffer from various spurious correlations. We believe this is a critical bottleneck for realizing human-like cognition in PLMs. COPEN and our codes are publicly released at https://github.com/THU-KEG/COPEN.

The ongoing amalgamation of UAV and ML techniques is creating a significant synergy and empowering UAVs with unprecedented intelligence and autonomy. This survey aims to provide a timely and comprehensive overview of ML techniques used in UAV operations and communications and identify the potential growth areas and research gaps. We emphasise the four key components of UAV operations and communications to which ML can significantly contribute, namely, perception and feature extraction, feature interpretation and regeneration, trajectory and mission planning, and aerodynamic control and operation. We classify the latest popular ML tools based on their applications to the four components and conduct gap analyses. This survey also takes a step forward by pointing out significant challenges in the upcoming realm of ML-aided automated UAV operations and communications. It is revealed that different ML techniques dominate the applications to the four key modules of UAV operations and communications. While there is an increasing trend of cross-module designs, little effort has been devoted to an end-to-end ML framework, from perception and feature extraction to aerodynamic control and operation. It is also unveiled that the reliability and trust of ML in UAV operations and applications require significant attention before full automation of UAVs and potential cooperation between UAVs and humans come to fruition.

香草自我注意的机制固有地依赖于预定和坚定的计算维度。这种僵化的性限制了它具有面向上下文的概括，可以带来更多的上下文提示和全球表示。为了减轻此问题，我们提出了一种可扩展的自我注意（SSA）机制，该机制利用两个缩放因素来释放查询，键和价值矩阵的维度，同时使它们不符合输入。这种可伸缩性可获得面向上下文的概括并增强对象灵敏度，从而将整个网络推向准确性和成本之间的更有效的权衡状态。此外，我们提出了一个基于窗口的自我注意事项（IWSA），该自我注意力（IWSA）通过重新合并独立的值代币并从相邻窗口中汇总空间信息来建立非重叠区域之间的相互作用。通过交替堆叠SSA和IWSA，可扩展的视觉变压器（可伸缩率）在通用视觉任务中实现最先进的性能。例如，在Imagenet-1K分类中，可伸缩率S的表现优于双胞胎-SVT-S，而Swin-T则比1.4％。

结构磁共振成像研究表明，大脑解剖异常与早产儿的认知缺陷有关。脑成熟和几何特征可以与机器学习模型一起使用，以预测以后的神经发育缺陷。但是，传统的机器学习模型将遭受较大的功能比率（即大量功能，但少数实例/样本）。合奏学习是一种范式，从战略上生成和集成了机器学习分类器库，并已成功地用于各种预测性建模问题，以提高模型性能。属性（即功能）包装方法是最常用的特征分区方案，它随机和反复从整个功能集中绘制特征子集。尽管属性装袋方法可以有效地降低特征维度以处理大型功能与实用比率，但它缺乏对域知识和特征之间的潜在关系的考虑。在这项研究中，我们提出了一种新型的本体论引导属性分区（OAP）方法，以通过考虑特征之间的特定于域的关系来更好地绘制特征子集。有了更好的分区功能子集，我们开发了一个合奏学习框架，该框架称为OAP汇总学习（OAP-EL）。我们应用了OAP-EL，以使用定量脑成熟和在非常早产的年龄在期限年龄获得的定量脑成熟和几何特征来预测2岁年龄的认知缺陷。我们证明，提出的OAP-EL方法显着优于同行集合学习和传统的机器学习方法。

部署各种深度学习（DL）型号有效地推动了DL编译器的研究。生成优化的张量码的难度驱动DL编译器以询问自动调整方法，并且越来越多的需求需要增加自动调整效率和质量。目前，DL编译器将输入DL模型分区为几个子图，并利用自动调整以找到这些子图的最佳张量代码。然而，现有的自学方法通常将子图视为个体，并且在其上忽略了它们的相似性，因此在有限的时间预算下未能利用更好的张力代码。我们向DL编译器提出Familyseer，即使有限的时间预算也可以生成更好的张量码。 Familyseer利用子图之间的相似性，并且子图之间的差异可以将它们组织成示例家庭，其中调整一个子图也可以改善同一家庭内的其他子图。每个家庭的成本模型获得了更多由家庭产生的纯化培训样本，并更准确，以便通过成本模型用轻量级估计来替换真正硬件上的昂贵测量。我们的实验表明，FamilySeer可以比最先进的自动调整框架更有效地生成模型代码，比最先进的自动调整框架更有效。

联合学习（FL）以来已提议已应用于许多领域，例如信用评估，医疗等。由于网络或计算资源的差异，客户端可能不会同时更新其渐变可能需要花费等待或闲置的时间。这就是为什么需要异步联合学习（AFL）方法。AFL中的主要瓶颈是沟通。如何在模型性能和通信成本之间找到平衡是AFL的挑战。本文提出了一种新的AFL框架VAFL。我们通过足够的实验验证了算法的性能。实验表明，VAFL可以通过48.23 \％的平均通信压缩速率降低约51.02 \％的通信时间，并允许模型更快地收敛。代码可用于\ url {https://github.com/robai-lab/vafl}

深度学习框架和硬件平台的蓬勃发展一直在要求一个有效的编译器，该编译器可以掩盖软件和硬件的多样性，以便提供应用程序可移植性。在现有的深度学习编译器中，TVM以其在各种硬件设备之间的代码生成和优化方面的效率而闻名。同时，Sunway多核处理器将其作为竞争性候选人，因为其在科学计算和深度学习工作负载中都有吸引力的计算能力。本文结合了这两个方向的趋势。具体来说，我们提出了SWTVM，该SWTVM扩展了原始TVM，以提前支持架构，以进行跨补偿，例如Sunway。此外，我们利用汇编过程中的体系结构特征，例如用于大规模并行性的核心组，用于高带宽内存传输的DMA和局部设备存储器的数据区域，以生成有效的代码，以在Sunway上进行深度学习工作负载。实验结果表明，与六个代表性基准相比，SWTVM生成的代码平均达到1.79倍。这项工作是从编译器角度进行的首次尝试，以弥合深度学习和Sunway处理器的差距，尤其是在生产力和效率方面。我们认为，这项工作将鼓励更多的人拥抱深度学习和Sunway多核处理器的力量。

Most existing image inpainting algorithms are based on a single view, struggling with large holes or the holes containing complicated scenes. Some reference-guided algorithms fill the hole by referring to another viewpoint image and use 2D image alignment. Due to the camera imaging process, simple 2D transformation is difficult to achieve a satisfactory result. In this paper, we propose 3DFill, a simple and efficient method for reference-guided image inpainting. Given a target image with arbitrary hole regions and a reference image from another viewpoint, the 3DFill first aligns the two images by a two-stage method: 3D projection + 2D transformation, which has better results than 2D image alignment. The 3D projection is an overall alignment between images and the 2D transformation is a local alignment focused on the hole region. The entire process of image alignment is self-supervised. We then fill the hole in the target image with the contents of the aligned image. Finally, we use a conditional generation network to refine the filled image to obtain the inpainting result. 3DFill achieves state-of-the-art performance on image inpainting across a variety of wide view shifts and has a faster inference speed than other inpainting models.

尽管在许多应用中取得了巨大的成功，但深度神经网络在实践中并不总是强大的。例如，用于分类任务的卷积神经元网络（CNN）模型通常在对某些特定类别的对象分类时表现不佳。在这项工作中，我们关注的是修补CNN模型的弱部分，而不是通过整个模型的昂贵重新培训来改进它。受到软件工程中模块化和组成的基本概念的启发，我们提出了一种压缩模块化方法CNNSplitter，该方法将$ N $ class分类的强CNN模型分解为$ n $ n $ n $ n $ smill CNN模块。每个模块都是一个子模型，其中包含强模型的卷积内核的一部分。为了修补对目标类（TC）进行不满意的弱CNN模型，我们将弱的CNN模型与从强CNN模型获得的相应模块组成。因此，弱CNN模型识别TC的能力可以通过修补来提高。此外，识别非TCS的能力也得到了提高，因为将样品错误分类为TC可以正确分类为非TCS。在三个广泛使用的数据集上使用两个代表性CNN的实验结果表明，在精度和召回方面，TC的平均改进分别为12.54％和2.14％。此外，修补程序将非TCS的准确性提高了1.18％。结果表明，CNNSplitter可以通过模块化和组成来修补弱的CNN模型，从而为开发可靠的CNN模型提供了新的解决方案。

虽然现代形象翻译技术可以创造光电态合成图像，但它们具有有限的风格可控性，因此可能遭受翻译误差。在这项工作中，我们表明激活功能是控制图像合成方向的重要组件之一。具体地，我们明确证明整流器的斜率参数可以改变数据分布并独立使用以控制翻译方向。为了提高风格可控性，提出了两种简单但有效的技术，包括自适应Relu（Adarelu）和结构自适应功能。 Adarelu可以根据目标风格动态调整斜率参数，并且可以用于通过与自适应实例归一化（Adain）组合来提高可控性。同时，结构适应性功能使整流器能够更有效地操纵特征图的结构。它由所提出的结构卷积（Struconv）组成，一种有效的卷积模块，可以根据AADAIN指定的平均值和方差选择要激活的区域。广泛的实验表明，所提出的技术可以大大提高基于风格的图像转换任务的网络可控性和输出分集。